IBF có tiền thân là Hiệp hội Quyền anh Hoa Kỳ (USBA), một tổ chức vô địch khu vực như Liên đoàn Quyền anh Bắc Mỹ (NABF), (NABO) và Hiệp hội Quyền anh Bắc Mỹ (NABA). Năm 1983, tại hội nghị thường niên của WBA, được tổ chức tại Puerto Rico, Robert W. "Bobby" Lee, Sr., chủ tịch của USBA, đã thua trong nỗ lực trở thành chủ tịch WBA chống lại Gilberto Mendoza. Lee và những người khác đã rút khỏi hội nghị sau cuộc bầu cử, và quyết định tổ chức một tổ chức cấp ba thế giới, cùng tồn tại với Hiệp hội Quyền anh Thế giới và Hội đồng Quyền anh Thế giới. Được hình thành dưới dạng USBA-International, [cần dẫn nguồn] và tổ chức non trẻ này sau đó được đổi tên thành Liên đoàn Quyền anh Quốc tế, có trụ sở tại New Jersey, nơi các văn phòng chính tọa lạc ngày nay.

Bobby Lee cũng là một ủy viên quyền Anh của New Jersey cho đến năm 1985, theo các báo cáo tin tức lúc dó, "ông đã bị Ủy ban Tiêu chuẩn Đạo đức đình chỉ và phạt vì chấp nhận các đóng góp từ các nhà quảng bá thi đấu và giám đốc điều hành sòng bạc." [2]

Nhà vô địch thế giới đầu tiên của IBF là Marvin Camel, một cựu vô địch cruiserweight thế giới của Hội đồng Quyền anh thế giới, người đã giành đai của IBF trong cùng hạng cân. Tuy nhiên, trong năm đầu tiên tồn tại, IBF vẫn còn chưa nổi bật. Nhưng đến năm 1984, IBF quyết định công nhận Larry Holmes, Aaron Pryor, Marvin Hagler và Donald Curry, vốn là các nhà vô địch từ các tổ chức khác, với tư cách là nhà vô địch thế giới của IBF. Trong trường hợp của Holmes, anh đã từ bỏ danh hiệu WBC của mình để chấp nhận sự công nhận của IBF. Các hoạt động công nhận này đã giúp IBF trở thành cơ quan tổ chức trận đấu thứ ba và là một tổ chức hợp pháp.